Ngân hàng Tiết kiệm Freedman phá sản năm 1874, chỉ vài tháng sau khi Douglass nhậm chức chủ tịch. Trong thời kỳ khủng hoảng kinh tế ấy, tờ nhật báo cuối cùng của ông, New Era, cũng ngưng hoạt động. Sau khi Rutherford B. Hayes thuộc Đảng Cộng hòa đắc cử tổng thống, Douglass nhận lời phụ trách lực lượng cảnh sát tư pháp ở Hạt Columbia để cưu mang gia đình.[16]

Năm 1877, Douglass đến thăm Thomas Auld trong lúc Auld lâm bệnh nặng. Hai người hòa giải với nhau. Trước đó, Douglass đã gặp con gái của Auld, Amanda Auld Sears. Amanda đã đến tham dự những buổi diễn thuyết của Douglass và tìm gặp ông. Cha cô ủng hộ điều này.[29]

Cũng trong năm đó, Douglass mua ngôi nhà cuối cùng của ông tọa lạc trên một ngọn đồi nhìn xuốn dòng sông Anacostia. Ông và Anna đặt tên cho ngôi nhà là Cedar Hill. Họ nới rộng ngôi nhà từ 14 lên đến 21 phòng. Năm sau, Douglass mua những khu đất kế cận biến nó thành một tài sản rộng 15 mẫu Anh (61 000 m2), nay là Khu Di tích Lịch sử Quốc gia Frederick Douglass.

Năm 1881, Douglass xuất bản quyển tự truyện cuối cùng, The Life and Times of Frederick Douglass, và nhận nhiệm vụ phụ trách tàng thư cho Hạt Columbia. Tuy nhiên, đến năm 1882, Douglass suy sụp tinh thần sau khi vợ ông, Anna Murray-Douglass qua đời. Đến năm 1884, Douglass kết hôn với Helen Pitts.

Douglass tiếp tục đi diễn thuyết ở Hoa Kỳ và nước ngoài. Trong hai năm 1886 và 1887, Douglass cùng Helen đến Anh, Ái Nhĩ Lan, Pháp, Ý, Ai Cập, và Hi Lạp.

Tại Đại hội Toàn quốc Đảng Cộng hòa năm 1888, ông trở thành người Mỹ gốc Phi đầu tiên nhận phiếu đề cử Tổng thống Hoa Kỳ cho một chính đảng lớn.[57][58][59]

Năm 1889, Cộng hòa Haiti bổ nhiệm Douglass làm tổng lãnh sự, nhưng chức vụ này kéo dài chỉ hơn một năm. Năm 1892, nước này lại bổ nhiệm Douglass làm đại diện tại Triển lãm Thế giới ở Chicago, kỷ niệm 400 năm Christopher Columbus đặt chân lên Tân Thế giới.

Năm 1892, Douglass xây dựng ngôi nhà cho người da đen thuê, nay được gọi là Douglass Place, ở Fells Point thuộc Baltimore. Khu liên hợp này vẫn còn cho đến ngày nay, đến năm 2003 được liệt kê vào Địa điểm Lịch sử Quốc gia.[60][61]